سالها بر اين منوال گذشت . در اين مدت گرگوار دريافته بود كه با دشمنى بسيار مكار سروكار دارد و هانرى در آلمان موقعيتى مستحكم براى خود ايجاد كرده است . آنچه شاه از او مىخواست ، تكفير رودلف بود اما گرگوار كسى نبود كه بتوان چيزى را به او تحميل كرد . پس مصمم شد كه از آن پس دست شاهزادگان ياغى را بازگذارد و به طرفدارى از رودلف تظاهر كند . بنابراين در اجلاسى كه در سال 1080 م . در شهر رم برپا شد ، بار ديگر هانرى و طرفدارانش را تكفير كرد و او را از سلطنت خلع كرد و در عوض رودلف را پادشاه خواند . اما اين‌بار تكفيرنامهء پاپ مانند چهار سال پيش اثربخش نبود و موجب تفرقهء هواخواهان هانرى نشد . هانرى نيز با تشكيل اجلاس بزرگى از كشيشان آلمانى و ايتاليايى و خلع گرگوار از مقامش به حملهء جديد او پاسخ داد و انجمن كشيشان منتسب به شاه ، يك اسقف لمباردى را به جانشينى گرگوار برگزيد كه كلمان سوم نام داشت . بنابراين ، در اين برهه از زمان ، مسيحيت داراى دو پاپ بود و آلمان دو پادشاه داشت . چند ماه بعد ، يكى از دو پادشاه ، يعنى رودلف در جنگى بر ضد هانرى به سختى مجروح شد . اينك رفتن به شهر رم هدف هانرى بود تا گرگوار را به محاكمه بكشد و كلمان سوم را به جاى او مستقر سازد . در سال 1081 م . هانرى به ايتاليا حمله‌ور شد و رم را در محاصره گرفت . سرانجام در سال 1084 م . هانرى با اهالى رم به توافق رسيد . گرگوار نتوانست در برابر تصميمات انجمن تحت رياست شاه داير بر محاكمهء وى مقاومت كند . انجمن كشيشان او را از مقامش خلع و تكفير كرد . بدين ترتيب ، كلمان بر جاى گرگوار نشست و به دست خود تاج شاهى بر سر هانرى نهاد ، اما طولى نكشيد كه ربرگيسار كه خود را تيولدار پاپ گرگوار معرفى كرده بود ، با سپاهى جرار به رم حمله كرد . قواى هانرى براى مقاومت در برابر دشمن جديد آمادگى نداشت . بدين جهت هانرى همراه كلمان ، دست‌نشاندهء خود ، به سوى لمباردى عقب نشست . متعاقبا ربرگيسار به شهر وارد شد و سپاهيانش به غارت شهر پرداختند و عدهء زيادى از ساكنان رم را همراه خود بردند و به بردگى فروختند . گرگوار آزاد شده بود اما كينه و نفرتى كه اهالى رم در برخورد با تيولدار نجات‌دهندهء پاپ در دل گرفته بودند ، اينك متوجه خود گرگوار شده بود . بناچار گرگوار جنگ تمام عيارى را بر ضد هانرى بىدين به كل مسيحيان